Mối quan hệ nghiêm túc đầu tiên của Dzhugashvili là với Zoya Gunina, con gái của một linh mục Chính thống giáo và là bạn học cũ của ông. Năm 1928, Dzhugahsvili cho biết rằng ông muốn kết hôn với Zoya, lúc đó mới 16 tuổi. Stalin tức giận với ý định này và đáp lại, Dzhugashvili đã tự bắn vào ngực mình và suýt mất mạng.[2] Trong khi Alliluyeva và Svetlana ủng hộ Dzhugashvili, Stalin được cho là đã gạt bỏ nỗ lực này bằng cách nói rằng "Nó thậm chí còn không thể bắn trúng".[6] Dzhugashvili đã phải nằm bệnh viện để hồi phục sau sự việc này, và dù vậy, cuối cùng cặp đôi đã kết hôn và chuyển đến Leningrad.[4] Một bé gái đã chào đời vào ngày 7 tháng 2 năm 1929, nhưng đã chết 8 tháng sau đó vì viêm phổi. Dzhugahsvili và Gunina sau đó đã chia tay, dù họ không chính thức ly hôn.[2]

Sau khi trở về Moskva, Dzhugashvili đã được đồn là sẽ kết hôn với Ketevan Orakhelashvili, con gái của Mamia Orakhelashvili, Bí thư thứ nhất của Cộng hòa Xã hội chủ nghĩa Xô viết Liên bang Ngoại Kavkaz. Mối quan hệ được đồn đãi chấm dứt khi Ketevan Orakhelashvili kết hôn với Evgeni Mikeladze, một nhạc trưởng dàn nhạc nổi tiếng, và Dzhugashvili bị Stalin chế giễu rất nhiều.[4] Bạn gái tiếp theo của ông là Olga Golysheva, cũng là một sinh viên tại Trường Hàng không Moskva. Họ đã đính hôn nhưng ngay sau đó lại chia tay và Golysheva trở về nhà của mình ở Stalingrad Oblast.[7] Một bé trai, Yevgeny, được Golysheva sinh vào ngày 10 tháng 1 năm 1936, sau khi rở về nhà.[7] Dzugashvili chỉ biết về con trai mình vào năm 1938 và đã cho cậu bé lấy họ của mình, mặc dù Stalin không bao giờ công nhận Yevgeny là cháu nội.[7]

Dzhugashvili kết hôn với Yulia Meltzer, một vũ công người Do Thái nổi tiếng đến từ thành phố Odessa. Sau khi gặp Meltzer tại một buổi tiếp tân trong một nhà hàng, Dzhugashvili đã đánh nhau với người chồng thứ hai của bà, một sĩ quan NKVD tên là Nikolai Bessarab, phụ tá của Stanislav Redens, người đứng đầu NKVD Moskva Oblast và là anh rể của Stalin.[7] Nhà sử học Miklós Kun cho rằng Meltzer bị ép buộc phải kết hôn với Dzhugashvili, mặc dù điều này không thực tế lắm do sự xung khắc giữa Stalin và Dzhugashvili.[4] Hai người sau đó chuyển đến ở cùng một căn hộ, dù chỉ kết hôn hợp pháp vào ngày 18 tháng 2 năm 1938, một ngày trước khi đứa con duy nhất của họ, con gái Galina chào đời.[7]